import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.util.Map;

/**
 * 悦讯spider
 * Created by lrs on 2018/2/21.
 */
public class YXSpider {
    public static Map<String, String> COOKIES = null; // 保存 cookies

    private static String HOME_URL = "http://www.asonline.cn/"; // 首页地址

    static public void main(String[] args) throws Exception {
        // 生成输出目录
        FileHelp fileHelp = new FileHelp();
        fileHelp.createDir("./output");
        fileHelp.createDir("./output/desc");

        if (!fileHelp.fileExists("./output/breakpoint")) {
            System.out.println("开始新爬取......");

            // 爬取主分类
            System.out.println("开始爬主分类开始......");
            Category Category = new Category(HOME_URL);
            Category.spiderCategory();
            System.out.println("主分类爬取完成!");

            new YXSpider().createBreakpoint(); // 创建断点续传文件
        } else {
            System.out.println("断点续传......");
        }

        new SubCategory(HOME_URL).spiderSubCategory(); // 爬取子分类

        new Product().spiderProduct(); // 爬取产品
        new Product().mergeProduct(); // 合并产品信息

        new Img().downloadImg(); // 下载图片

        System.out.println("爬取完成！！！");
    }

    private void createBreakpoint() throws IOException {
        File writename = new File("./output/breakpoint"); // 相对路径，如果没有则要建立一个新的output。txt文件
        writename.createNewFile(); // 创建新文件
        BufferedWriter out = new BufferedWriter(new FileWriter(writename));
        out.write(""); // \r\n即为换行
        out.flush(); // 把缓存区内容压入文件
        out.close(); // 最后记得关闭文件
    }


}
